检索结果

期刊

出版年

关键词

Please wait a minute...

选择:

导出引用
EndNote Ris BibTeX

显示/隐藏图片

Select

1. 增量更新并行Web爬虫系统

徐文杰陈庆奎

计算机应用

摘要（1714）

PDF （779KB）（1083）

介绍了并行Web爬虫系统的总体结构，引入了增量更新爬虫策略，在提高Web海量数据更新效率的同时，考虑到机群中各个爬虫的能力不一，为了使机群中爬虫的能力得到充分应用，又提出了向量度量技术，解决了抓取任务和爬虫能力匹配的问题。对抓取任务向量、爬虫向量进行了定义，并在此基础上给出了相关的并行算法。实践表明，系统具有良好的分配适应性，并可以在此基础上渐增式地提高网页库新鲜度。